NVIDIA и Oracle расширят инфраструктуру OCI на базе Vera Rubin NVL72 до мультигигаваттного масштаба

NVIDIA и Oracle объявили о планах по расширению суперкластеров в Oracle Cloud Infrastructure (OCI) с использованием систем Vera Rubin NVL72, сообщает HPCwire. Масштаб таких решений достигнет гигаваттных значений — системы помогут удовлетворить спрос клиентов на обучение, инференс моделей искусственного интеллекта, а также на работу ИИ-агентов. Две компании расширили сотрудничество в сфере ИИ-инфраструктуры: в OCI доступны системы NVIDIA Vera Rubin NVL72 и Vera CPU.

Инициатива обеспечит клиентам инфраструктуру, которая подходит как для ресурсоёмких задач, требующих высокой мощности GPU, например, для обучения и инференса ИИ, так и для задач, в которых основная нагрузка ложится на CPU. В последнем случае это могут быть действия ИИ-агентов между вызовом моделей: подключение внешних инструментов, тестирование программного кода, поиск и извлечение данных. Клиенты могут независимо масштабировать ресурсы CPU и GPU в соответствии с конкретными рабочими нагрузками, чтобы сократить объём простаивающих мощностей и эффективнее использовать имеющуюся инфраструктуру.

Источник изображения: BoliviaInteligente / unsplash.com

Суперкластеры OCI объединяют стоечные системы NVIDIA NVL72, сетевые решения Oracle Acceleron, в том числе NVIDIA Spectrum-X Ethernet с коммутаторами NVIDIA Spectrum-6 и DPU NVIDIA BlueField-4, а также системы электропитания и охлаждения гигаваттного класса, необходимые для обучения и инференса моделей. В каждой стойке 72 GPU объединены с помощью технологии NVIDIA NVLink, а отказоустойчивая многоплоскостная сеть OCI позволяет масштабировать систему до сотен тысяч GPU.

Планируется также внедрение системы NVIDIA HGX Rubin NVL8, включающей восемь GPU Rubin, объединённых через NVLink в серверной конфигурации на базе архитектуры x86. Платформа комплектуется двумя 64-ядерными процессорами Intel Xeon 6, 4 Тбайт памяти DDR5 и высокоскоростным интерфейсом RDMA с пропускной способностью 6,4 Тбит/с. Это решение обеспечивает гибкие возможности для обучения, дообучения и инференса ИИ-моделей при сохранении совместимости с приложениями на базе архитектуры x86. Такая гибкость позволяет адаптировать инфраструктуру ИИ к различным моделям и рабочим нагрузкам по мере изменения потребностей.

Ранее Oracle призналась, что направление ИИ ЦОД является для неё рискованным. Компания обеспечила высокоскоростное подключение своей инфраструктуры к AWS, а также сдала китайской Tencent 100 тысяч передовых ускорителей в аренду для развития ИИ-систем.